Sau đó ông được cử Hiếu liêm nhưng không đến nhận chức. Năm 196, Tào Tháo đón Hán Hiến Đế về Hứa Xương, lĩnh chức Tư không, cho gọi ông nhưng ông không đến. Sau đó Trương Ký lại được châu Tư Lệ cử làm Mậu tài, phong làm Tân Phong Lệnh. Trương Ký nhận chức và trở thành quan coi việc tốt nhất trong các huyện vùng Tam Phụ[1].

Viên Thượng chống Tào Tháo ở Lê Dương, sai quan lại mà mình đặt gồm Thái thú Hà Đông là Quách Viện, Thứ sử Tinh Châu là Cao Cán cùng Thiền Vu của người Hung Nô đánh lấy huyện Bình Dương, sai sứ giả về phía tây liên kết với các tướng miền Quan Trung. Tư Lệ Hiệu úy là Chung Do sai Trương Ký dụ tướng Tây Lương là Mã Đằng. Trương Ký nói rõ lợi hại, Mã Đằng nghe theo, sai con là Mã Siêu đem hơn vạn quân cùng Chung Do hợp đánh Cán, Viện, đại phá quân Tinh châu, chém đầu Quách Viện.

Cao Cán và Thiền Vu đều quy thuận Tào Tháo. Sau đó Cao Cán đem quân Tinh châu chống lại. Người quận Hà Nội là Trương Thịnh đem hơn vạn quân chẳng theo ai, cướp bóc giữa vùng núi Hào, sông Mẫn, người quận Hà Đông là bọn Vệ Cố, Trương Nông, Trương Diễm đều đem quân đến theo ông ta. Tào Tháo lấy Trương Ký làm Nghị lang, giúp việc quân cho Chung Do, sai về phía tây gọi các tướng Tây Lương là Mã Đằng đều dẫn quân hợp đánh bọn Thịnh, phá chúng, chém đầu Cố, Diễm; Cao Cán trốn đến Kinh Châu. Trương Ký được phong làm Vũ Thủy Đình hầu.

Tào Tháo sắp đánh Kinh Châu, nhưng ngại Mã Đằng và Hàn Toại chia nhau chiếm miền Quan Trung, lại sai Ký đi dụ, bắt phải bỏ thuộc hạ mà thần phục. Mã Đằng đã hứa theo nhưng lại do dự. Trương Ký sợ họ Mã gây biến, bèn sai các huyện sắm đủ lương thực, đem hai nghìn thạch lương ra ngoài thành trao cho quân, làm như sắp điều quân đánh Lương châu[2]. Mã Đằng bất đắc dĩ phải về Hứa Xương, Tào Tháo cho Đằng làm Vệ úy, con là Mã Siêu làm tướng quân, lĩnh quân của Đằng.